شناسایی عمل انسان در تصاویر ویدئویی به کمک ویژگی های محلی و بسته ای از کلمات تصویری

هدف تحقیق حاضر شناسایی اعمال انسانی در تصاویر ویدئویی است که بدین منظور از بیان محلی تصاویر ویدئویی بهره گرفته ایم. یکی از راهکارهای ارائه شده در این پایان نامه تلفیق توصیفات ظاهری و بیان های حرکتی است که نهایتاً به یک توصیف کننده مکان-زمان محلی منجر می گردد. تا کنون ویژگی های محلی گوناگونی به منظور بیان اطلاعات ظاهری ارائه شده اند. ما با به کارگیری توصیف کننده جدیدی که حاصل توصیف محلی phog بر روی نقاط حاصل از آشکارساز هریس می باشد، توانستیم از مزایای توصیف کننده های دوبعدی به خوبی بهره ببریم. علاوه بر این استفاده از آشکارساز و توصیف کننده دوبعدی دیگری با نام سیفت نیز در قالب توصیف کننده های مکان-زمان محلی جهت مقایسه و ارزیابی بهتر روش پیشنهادی به طور جداگانه بیان گردیده است. برای توصیف زمانی اعمال انسانی نیز از بیان هیستوگرامی بردارهای شار نوری استفاده نمودیم و با تلفیق این دو بیان، به یک توصیف کننده واحد دست یافتیم که هم اطلاعات مکانی و هم زمانی مربوطه را شامل می شود. در ادامه با انتقال این توصیف کننده ها به فضای بسته ای از کلمات تصویری، به هیستوگرام هایی متناظر با هر ویدئو دست می یابیم که در واقع ورودی مرحله آموزش و دسته بندی خواهند بود. نتایج ارزیابی سیستم شناسایی مذکور بر روی دو پایگاه داده معروف از اعمال انسانی ارائه گردیده است. هر یک از این پایگاه های داده تعدادی عمل مختلف را شامل می شوند که توسط چندین عامل انسانی و در شرایط متفاوت انجام گرفته اند. نتایج به دست آمده نشان دهنده برتری روش به کاربرنده ویژگی محلی harris-phog در مقایسه با روش سیفت است. همچنین در مقایسه ای که با نتایج دیگر مراجع مرتبط صورت گرفت، راهکار پیشنهادی یعنی به کارگیری توصیف کننده های مکان-زمان محلی توانست به نتایج برتر و یا قابل قیاس با برترین نتایج موجود دست یابد.